Giống như anh trai mình, James tìm kiếm sự tỵ nạn ở Pháp và sau đó ông gia nhập Quân đội Pháp, dưới quyền của Thống chế Turenne, chiến đấu chống lại phe Fronde và sau đó chống lại đồng minh Tây Ban Nha của phe này.[13] Trong thời gian phục vụ Quân đội Pháp, James có được kinh nghiệm thực chiến đầu tiên của mình. Theo một nhân chứng, ông "luôn bạo dạn và tiến lên dũng cảm để hoàn thành mọi thứ".[14] Năm 1656, khi mà anh trai Charles của James giao kết đồng minh với kẻ thù của Pháp là Tây Ban Nha, James bị trục xuất khỏi Pháp và bị loại ngũ khỏi quân đội của Thống chế Turenne.[15] James sau đó tranh cãi dữ dội với anh trai của mình về việc Charles chọn giao kết với Tây Ban Nha thay vì Pháp. Với một cuộc sống lưu vong nghèo khổ, cả Charles và James hầu như không có thể làm gì để tác động vào cục diện quan hệ rộng lớn giữa các vương quốc, và cuối cùng James cùng em trai Henry của mình đi đến Brugge thuộc Bỉ và gia nhập Quân đội Tây Ban Nha dưới quyền tướng Louis, Vương công của Condé. Sau đó ông đối đầu với những đồng đội cũ trong quân đội Pháp của mình trong trận đánh tại Dunes.[16] Trong những năm tháng phục vụ Quân đội Tây Ban Nha, James kết bạn với hai anh em Công giáo người Ireland theo hầu nhà vua, Peter và Richard Talbot, và trở nên hơi ghẻ lạnh với những quân sư Anh giáo của anh trai ông.[17] Vào năm 1659, nước Tây Ban Nha ký kết hiệp ước hòa bình với Pháp. Do nghi ngờ về những cơ hội giành lại ngôi báu của anh mình, James nghĩ đến việc nhận lời mời của làm Đô đốc Hải quân của người Tây Ban Nha.[18] Cuối cùng, ông khước tứ chức vị này. Năm sau đó, tình hình nước Anh hoàn toàn thay đổi và Charles II lại được đưa lên ngôi.[19]